Năm 1313, em gái chồng và em rể chồng của Blanche, Vương hậu Isabella và Vua Edward II của Anh, đã đến thăm Vua Philip. Isabella tặng các anh chị dâu của mình những chiếc ví đựng đồng xu có thêu hình. Cuối năm đó, khi trở về London, Isabella và Edward đã tổ chức một bữa tiệc. Isabella nhận thấy rằng những chiếc ví tiền mà bà đã trao cho Blanche và Marguerite đều do các hiệp sĩ Norman nắm giữ là Gautier và Philippe d'Aunay. Từ đó bà kết luận rằng anh em họ đang có quan hệ với những chị dâu của bà. Khi bà đến thăm lại Paris vào năm 1314, bà đã thông báo cho cha mình là Vua Philip về những nghi ngờ của mình với những chị dâu.[4]

Blanche và Marguerite sớm bị buộc tội vì những hành vi sai trái, chẳng hạn như uống rượu và ăn uống với các hiệp sĩ, và cuối cùng bị kết tội ngoại tình với họ trong tháp canh Paris được gọi là Tour de Nesle. Joan, chị gái ruột của Blanche, bị buộc tội che giấu mối tình và sau đó cũng tham gia vào vụ này.

Những lời buộc tội chống lại Nữ bá tước Blanche và Vương hậu Marguerite nhiều khả năng là đúng, nhưng một số nhà biên niên sử thế kỷ 14 tin rằng người hầu phòng của vua Philip là Enguerrand de Marigny có thể đã vu cáo họ và các hiệp sĩ.[4]